Parallelism, critical windows, and separations among diffusion language models
扩散语言模型的并行性、关键窗口与范式分离
🧭 扩散语言模型并行采样理论
Harvard University · Tsinghua University
首次证明均匀/高斯扩散的并行采样步数可随分布内在复杂度缩放，且掩码扩散因关键窗口更窄需更多前向次数
📌 工作参考价值（3 点）
- 在电商/搜索场景用扩散 LM 生成商品文案、Query 补全或推荐语时，优先评估均匀/高斯扩散：其采样前向步数可随分布的 dual total correlation 缩放，对属性条件独立、结构化程度高的商品或 Query 分布，可能远低于序列长度，适合低延迟并行生成。
- 若生成式推荐使用 Semantic ID + masked diffusion，注意掩码扩散在近似 score 下存在 Ω(d) 并行下界；对长 token 序列且延迟敏感的服务，可尝试用均匀或高斯扰动替代离散“吸收态”，拓宽关键窗口以提升并行度。
- 工程调优可从“关键窗口宽度”切入：若观察到掩码扩散后期 token 状态突变、需大量去噪步，可借鉴均匀/高斯扩散的连续松弛或噪声调度，避免在窄窗口内做硬离散决策，减少串行步骤。